0からつくる Recurrent Neural Network

その１

自分でぐるぐる描いた円を使って、1step先を予測するようにRNNをトレーニング

適当に初期値を与えてどのような軌道を描くか調べる

https://scrapbox.io/files/652567323685e1001cc3b63b.gif

その２

8の字に描いたデータを使ってトレーニング

交差している点があるのでムズイ

同じ位置でも左上に行くパターンと右上に行くパターンがある

失敗その１

https://scrapbox.io/files/65263d82691c2b001c23b076.gif

失敗その２

https://scrapbox.io/files/65263db6fc71a7001b884626.gif

成功パターン

初期値を八の字の外側に置いたパターン

https://scrapbox.io/files/65263dc74b600b001ba15402.gif

別に訓練データのうちの一番近い位置から軌道に乗るわけではないんだなぁ

これはベクトル場的なものはかける？

変遷によって同じ位置でも違う振る舞いをするので無理では？

初期値を八の字の内側に置いたパターン

https://scrapbox.io/files/6526593f641734001bc75e4d.gif

あまりに学習に失敗するケースが多いので改良したい

入力データを少しいじってみる

学習初期段階は頓珍漢な軌道を予測するため、これを補正して学習させてみる

RNNが予測する点と、実際の教師データを一定の割合でミックスさせてみる